Variável Omitida, VI e Dados em Painel

Vimos viés de variável omitida (OVB). Por exemplo, se o modelo verdadeiro for: \[ y_i = \beta_0 + \beta_1 x_i + \underbrace{c_i + u_i}_{v_i} \] se \(c_i\) é não observável e \(Cov(x_i, c_i)\neq0 \Rightarrow E[v_i|x_i]\neq 0\)

Regressão com Variável Dummy

• Abordagem mais simples: inclua uma variável dummy para cada grupo \(i\).

• Isso é literalmente controlar para o condado \(i\)

• Cada \(i\) tem seu próprio intercepto \(c_i\)

Regressão com Variável Dummy

\[y_{it} = \beta_1 x_{it} + c_i + u_{it},\quad t=1,2,...T\]

import statsmodels.formula.api as smf

mod_dummy = smf.ols(formula="crmrte ~ -1 + prbarr + C(county)", data=css).fit()

pd.concat(
    [mod_dummy.params, mod_dummy.bse, mod_dummy.tvalues, mod_dummy.pvalues], axis=1
).rename(columns={0: "coef", 1: "std err", 2: "t", 3: "P>|t|"})

Regressão com Variável Dummy

# Get predicted line
css["pred"] = mod_dummy.predict(css)
# Plot regression lines
g = sns.lmplot(
    data=css, x="prbarr", y="pred", scatter=False, hue="county", legend=False
)
g.figure.set_size_inches(13, 9)
# Create scatter plot with line for each county
sns.scatterplot(
    data=css, x="prbarr", y="crmrte", hue="county", legend=False, ax=g.axes[0, 0]
)
plt.legend()
# Set plot labels
plt.xlabel("Probabilidade de Prisão")
plt.ylabel("Taxa de Crime")
# plt.title("Regressão com Variável Dummy")

# Show the plot
sns.despine()
plt.show()

Primeira Diferença

Se tivermos apenas dois períodos, \(T=2\), poderíamos apenas diferenciar os períodos

\[\begin{align} y_{i1} &= \beta_1 x_{i1} + c_i + u_{i1} \\y_{i2} &= \beta_1 x_{i2} + c_i + u_{i2} \\& \Rightarrow \\ y_{i2}-y_{i1} &= \beta_1 (x_{i2} - x_{i1}) + c_i-c_i + u_{i2}-u_{i1} \\\Delta y_{i} &= \beta_1 \Delta x_{i} + \Delta u_{i} \end{align} \]

E para recuperar o parâmetro de interesse \(\beta_1\) rodamos

smf.ols(deltay ~ -1 + deltax, diff_data).fit() 

A Transformação Intragrupo (Within)

A Transformação Intragrupo (Within)

• Se \(y_{it} = \beta_1 x_{it} + c_i + u_{it}\), então

• Logo, \[ \begin{align*} \ddot{y}_{it}&=y_{it}-\bar{y}_i\\ &=\beta_1 x_{it} + c_i + u_{it} - \left(\beta_1\bar{x}_i+c_i+\bar{u}_i\right)\\ &=\beta_1\ddot{x}_{it} + \ddot{u}_{it} \end{align*} \]

A Transformação Intragrupo (Within)

Graus de liberdade

• \(\ddot{y}_{it}=\beta_1\ddot{x}_{1,it} + \beta_2\ddot{x}_{2,it} + \ldots + \beta_k\ddot{x}_{k,it} + \ddot{u}_{it}\)

• A princípio temos \(NT - k\) graus de liberdade

• ⚠️ Isso não é verdade!!

• Tivemos de calcular \(N\) médias intragrupo. Perdemos esses graus de liberdade

• gl: \(NT-N-k=N(T-1)-k\)

• Quanto mais efeitos fixos adicionarmos na regressão, mais gl iremos perder

A Transformação Intragrupo (Within)

Hipóteses

Satisfeitas as seguintes hipóteses, o estimador de Efeitos Fixos será não viesado

1. O modelo populacional é: \(y_{it}=X_{it}\beta+c_i+u_{it}\). Para cada \(i\), com \(t=1, \ldots, T\) e \(c_i\) é não observado.

2. \(\{y_{it}, X_{it}\}_{i=1}^N\) é uma amostra aleatória para um dado \(t\)

3. \(X_{it}\) possui variação na dimensão \(t\)

4. Para cada \(t\), o valor esperado do erro \(u_{it}\) condicional aos regressores em todos os períodos de tempo e ao efeito não observado, é zero: \(E[u_{it}\mid X_{i1},\ldots, X_{iT}, c_i]=0\) (exogeneidade estrita)

• Se tivermos um painel curto \((N>>T)\), então podemos dizer que assintoticamente \((N\rightarrow\infty)\) o estimador de Efeitos Fixos é consistente.

A Transformação Intragrupo (Within)

Hipóteses

• Por que a hipótese de exogeneidade estrita é tão importante?

• \(E[u_{it}\mid X_{i1},\ldots, X_{iT}, c_i]=0\) implica em \(E[X_{is}u_{it}]=0\quad s,t = 1,\ldots, T\)

• Modelo transformado é \(\ddot{y}_{it}=\ddot{X}_{it}\beta+\ddot{u}_{it}\)

• MQO não viesado se \(E[\ddot{X}_{it}\ddot{u}_{it}]=0\qquad\)

• Interpretação: uma vez que \(X_{it}\) e \(c_i\) estejam controlados na regressão, outros períodos para os regressores não importam!

• ⚠️ ATENÇÃO

  • Isso não impede modelos de defasagem distribuída!
  • Modelos de variável dependente defasada estão excluídos

A Transformação Intragrupo (Within)

Hipóteses

• Por que a hipótese de exogeneidade estrita é tão importante?

• \(E[X_{it}u_{it}]= 0\), pois \(E[X_{is}u_{it}]=0\) e \(s=t\)

• \(E[X_{it}\bar{u}_i]=\frac{1}{T}\lbrace E[X_{it}u_{i1}]+\ldots + E[X_{it}u_{iT}]\rbrace\)

  • Cada um dos valores esperados também é zero pela hipótese de exogeneidade estrita!

• O mesmo vai ocorrer para os termos \(E[\bar{X}_iu_{it}]\) e \(E[\bar{X}_i\bar{u}_i]\)

• Ou seja, a hipótese de exogeneidade estrita, \(E[u_{it}\mid X_{i1},\ldots, X_{iT}, c_i]=0\) implica em \(E[X_{is}u_{it}]=0\quad s,t = 1,\ldots, T\), e garante que no modelo transformado o MQO é não viesado

A Transformação Intragrupo (Within)

Solução Manual

• Isso funciona para o nosso problema com o efeito fixo \(c_i\) porque \(c_i\) não varia no tempo por suposição! A média de uma constante é ela mesma, \(\bar c_i = c_i\) \[y_{it}-\bar{y}_i = \beta_1 (x_{it} - \bar{x}_i) + c_i - \bar c_i + u_{it}-\bar{u}_i\]

• É fácil fazer você mesmo! Primeiro vamos calcular os valores centralizados:

css_transf = (css.groupby("county")[['crmrte', 'prbarr']]
  .transform('mean')
  .rename(
    columns={"crmrte": "mean_crime", "prbarr": "mean_prob"}
  )
)

cdata = (pd.concat([css, css_transf], axis=1)
  .eval("""
  demeaned_crime= crmrte - mean_crime
  demeaned_prob= prbarr - mean_prob
  """)
  )

A Transformação Intragrupo (Within)

Solução Manual

Em seguida, rodamos os modelos Agrupado e Transformação Intragrupo com MQO simples:

mod_pooled = smf.ols(formula="crmrte ~ prbarr", data=cdata).fit()
mod_intra = smf.ols(formula="demeaned_crime ~ -1 + demeaned_prob", data=cdata).fit()

result = pd.DataFrame({
  "Agrupado": [mod_pooled.params['prbarr'], mod_pooled.bse['prbarr']],
  "Dummy": [mod_dummy.params['prbarr'], mod_dummy.bse['prbarr']],
  "Intragrupo": [mod_intra.params['demeaned_prob'], mod_intra.bse['demeaned_prob']]
}, index=["Prob. Prisao", "Erro Padrão"])
result

A Transformação Intragrupo (Within)

Solução Manual

Interpretando as estimativas

• Como interpretar essas inclinações negativas?

• Olhamos para uma única unidade \(i\) e perguntamos:

Estimativa de Efeitos Fixos no Python

use um Pacote!

• Na prática econométrica, você dificilmente realizará a transformação intragrupo manualmente

• use um pacote!

• Existem algumas opções em Python (linearmodels é o mais eficiente). Em nosso contexto:

from linearmodels.panel import PanelOLS

# Dois indices são requeridos
cdata = cdata.set_index(["county", "year"])

mod_FE = PanelOLS.from_formula("crmrte ~ prbarr + EntityEffects", cdata).fit()

• Observe a fórmula contendo a palavra EntityEffects depois dos regressores.

• O efeito fixo de entidade i será estimado com base no index do DataFrame. Por isso o set_index(["county", "year"]).

• Podemos ter dois tipos de efeitos fixos: EntityEffects e TimeEffects. Veja a documentação para mais detalhes.

Estimativa de Efeitos Fixos no Python

use um Pacote!

Nem só de Python vive um econometrista! Alguns outros pacotes de EF também para R, Stata e Python

• R
  • fixest (função feols) 🏆
  • plm (função plm)
  • lfe (função felm)
• Stata
  • reghdfe
• Python
  • Statsmodels (dummies somente)

Estimativa de Efeitos Fixos no Python

use o linearmodels

• Mesmas estimativas! 😅

• linearmodels não calcula erros padrão clusterizados por default (fixest faz).

• mod_FE = PanelOLS.from_formula("crmrte ~ prbarr + EntityEffects", cdata).fit(cov_type='clustered') para corrigir isso.

Transformação Intragrupo Animada!

📚 Leitura Recomendada

• WOOLDRIDGE, Jeffrey M. Introdução à econometria: uma abordagem moderna. São Paulo: Cengage Learning, 2016. Tradução da 4ª edição norte-americana por José Antonio Ferreira. Capítulo 13 O Agrupamento de Cortes Transversais ao Longo do Tempo.

• GUJARATI, Damodar N.; PORTER, Dawn C. Econometria básica. Porto Alegre: Amgh Editora, 2011. - 5. ed. Capítulo 16 Modelos de regressão com dados em painel

ATÉ A PRÓXIMA AULA!